Il Cambio di Paradigma: Dai Modelli Specifici per Attività agli LLM

Evoluzione dell'NLP: dall'IA Frammentata ai Foundation Model

Definizioni

• IA Frammentata: Un'era caratterizzata da architetture neurali discrete e specializzate, progettate per attività specifiche come l'etichettatura di sequenze o la classificazione.
• Foundation Model: Un'architettura transformer unificata e monolitica che tratta ogni problema linguistico come una sequenza generativa testo-a-testo $x \rightarrow y$.

Concetti Fondamentali

• Consolidamento Architetturale: Storicamente, l'NLP richiedeva pipeline personalizzate (Bi-LSTM per il NER, CNN per il sentiment). Gli LLM fanno convergere questi silos in un unico backbone in cui gli stessi pesi vengono utilizzati per ogni attività.
• L'Interfaccia Unificata: Gli LLM sostituiscono le "output head" specializzate (ad es., Softmax a 3 classi) con un'interfaccia in linguaggio naturale. Input e output sono sempre stringhe, permettendo al modello di interpretare l'intento anziché il formato.
• Trasferimento di Conoscenza: I modelli tradizionali erano "tabula rasa" per ogni attività. Gli LLM danno priorità alla Generalizzazione Primaria, in cui le attività specifiche sono mere applicazioni di una rappresentazione interna del linguaggio preesistente e solida.

Contesto Storico

• Pre-2018: L'isolamento delle attività richiedeva l'addestramento di modelli distinti con diverse funzioni di perdita $\mathcal{L}_{task}$.
• Era Moderna: Il paradigma "Text-to-Text" consente a un singolo modello (ad es., Llama-3) di passare da un'attività all'altra tramite prompting zero-shot o few-shot.